testing difference of agreement coefficients

#statistics #agreement #reliability #guideline

檢驗兩組獨立的信度間差異是否顯著

情境：比較兩組不同訓練方式的評分者，他們的評分者間信度是否有差異

T = \frac{{\hat{κ}}^{2} - {\hat{κ}}^{1}}{\sqrt{V ({\hat{κ}}^{2} - {\hat{κ}}^{1})}}

${\hat{κ}}^{1} =$ 第一組信度（同意度）
${\hat{κ}}^{2} =$ 第二組信度（同意度）
$V ({\hat{κ}}^{2} - {\hat{κ}}^{1}) =$ 信度差異的變異數（由於兩個信度獨立，其等於 $v ({\hat{κ}}^{1})$ + $v ({\hat{κ}}^{2})$ ）

檢驗兩組相關的信度間差異是否顯著

情境：比較一組評分者的評分者間信度在受訓前和受訓後是否有差異
由於兩組信度非是獨立的，其差異的變異數估計較難。 Gwet (2016)提出利用「linearization」方法估計信度差異的變異數

online calculator

https://agreestat.net/agreetest/

參考文獻

Gwet, K. L. (2016). Testing the Difference of Correlated Agreement Coefficients for Statistical Significance. Educational and Psychological Measurement, 76(4), 609–637. https://doi.org/10.1177/0013164415596420